Thế chiến thứ hai bùng nổ. Như một kết quả của việc phân chia Ba Lan theo Hiệp ước Molotov-Ribbentrop giữa Đức và Liên Xô, thành phố Lwów (nay là Lviv) thuộc vùng sáp nhập vào Liên Xô và đổi tên thành Lvov. Cha dượng Wiesenthal vẫn sống ở Dolyna, bị bắt vì là tư bản, sau đó đã chết trong nhà tù của Liên Xô. Bà mẹ về sống với Wiesenthal và Cyla ở Lvov. Ông hối lộ giới chức để tránh bị trục xuất, theo quy định tại Khoản 11, một quy định ngăn chặn tất cả các chuyên gia và trí thức Do Thái vào sống trong vòng 100 km (62 dặm) cách thành phố, hiện dưới sự quản lý của Liên Xô.[11][12]

Tháng 6/1941 Đức quốc xã xâm chiếm vùng. Đã có vài nghìn người Do Thái bị sát hại ở Lvov bởi các công dân Ukraina và lực lượng Einsatzgruppen Đức trong tháng Sáu và tháng 7 năm 1941. Trong 6 tháng sau đó cư dân Do Thái phải đăng ký để làm lao động cưỡng bức, giao nộp nhà cửa, đến sống ở các khu ổ chuột Lvov (Lwów Ghetto) [13][14]. Trong cuốn tự truyện, Wiesenthal nói bị bắt vào ngày 06 tháng Bảy như thế nào, nhưng không bị hành quyết do quản đốc cũ cứu. Đó là người đàn ông tên Bodnar, người sau này là thành viên của Cảnh sát bổ trợ Ukraina (Ukrainian Auxiliary Police)[15]. Có một số phiên bản của câu chuyện, trong đó có thể được ngụy tạo.[16]

Cuối năm 1941, Wiesenthal và vợ được chuyển đến trại tập trung Janowska, buộc làm việc tại cung "Bảo dưỡng Đường sắt phía Đông". Nhờ cung cấp thông tin chi tiết về các tuyến đường sắt cho một tổ chức bí mật của Ba Lan là Armia Krajowa, Wiesenthal kiếm được giấy tờ cá nhân giả cho vợ mình từ họ. Nhờ đó Cyla đến Warsaw và vào làm việc trong một xưởng radio Đức rồi một số trại khác. Sức khỏe của Cyla đã bị tổn hại nhưng vẫn sống sót. Họ đoàn tụ năm 1945, và năm sau sinh con gái Paul Inca.[17][18][19]

Phát xít Đức thường xuyên càn quét khu ổ chuột Lvov, cả khi mọi người vắng mặt vì làm lao động cưỡng bức. Mẹ của Wiesenthal và những phụ nữ Do Thái lớn tuổi khác được vận chuyển bằng tàu chở hàng đến Trại hủy diệt Belzec và bị giết chết vào tháng 8 năm 1942. Một cảnh sát Ukraine bắn chết mẹ của Cyla trước hiên nhà ở Buczacz trong khi cô đã bị đuổi ra khỏi nhà. Tổng cộng Cyla và Simon Wiesenthal mất 89 người thân trong Holocaust.

Tháng 10/1943 Wiesenthal trốn thoát khỏi trại Janowska, và đến 6/1944 bị bắt lại vì thiếu giấy tờ tùy thân. Do quân đội Xô Viết phản công ở phía đông, ông được chuyển đến Przemyśl, sau đó đến trại Kraków-Płaszów[20][21], rồi lần lượt ở trại Gross-Rosen, Chemnitz, Buchenwald, và tháng 2/1945 thì đến trại ở Mauthausen nước Áo.